When LLM-Inferred User Context Adds Value in Production Streaming Recommendation
生产流媒体推荐中 LLM 推断用户上下文的增益条件
🧭 LLM 用户画像 · 上下文自适应推荐 ★ 深度解读
DePaul University · Comcast Technology AI
LLM 生成的语义用户画像只在探索型用户上优于聚合画像,且会显著放大热门偏差
📌 工作参考价值(4 点)
- 按消费模式分层选画像策略:线上可用训练期特征(历史长度、历史内容多样性)预估用户是习惯型还是探索型,对探索型才启用 LLM 画像,习惯型默认 centroid。论文给出 history size r=-0.30、历史 embedding 多样性 r=+0.11 两个弱但显著的相关特征,可直接作为 serving 端策略信号。
- 默认 aggregate 更稳,LLM 画像需配 fallback:在约 82% 的习惯型用户上,LLM 画像 Recall@10 比 centroid 低 21-31 个百分点;若拿不准用户 regime,保守选择 aggregate embedding,避免大范围掉点。
- 警惕 LLM 画像的 popularity attractor:LLM 生成式画像把推荐集中到更小、更热门目录,Coverage 下降约 80%,Novelty 下降 18-22%。电商/广告场景若重视长尾曝光,需要对 LLM profile 做 debias、温度/多样性控制,或只在探索型用户上启用,否则会系统性压制长尾商品。
- 时间 split + attention 对 LLM 画像才有明显作用:TemporalNarrative 在习惯型用户上比单段 Narrative 回升约 9 个点 Recall@10,但仍追不上 centroid;对 aggregate 几乎无影响。因此若用 LLM 画像,短/长期 split 值得做;若用 embedding centroid,不必增加时间切分复杂度。